{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\u001b[32m2024-08-02 21:49:49.429\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.utils.connect_ray\u001b[0m:\u001b[36mconnect_cluster\u001b[0m:\u001b[36m48\u001b[0m - \u001b[1mJDK 21 will be used (/Users/allwefantasy/.auto-coder/jdk-21.0.2.jdk/Contents/Home)...\u001b[0m\n",
      "2024-08-02 21:49:49,482\tINFO worker.py:1564 -- Connecting to existing Ray cluster at address: 127.0.0.1:6379...\n",
      "2024-08-02 21:49:49,499\tINFO worker.py:1740 -- Connected to Ray cluster. View the dashboard at \u001b[1m\u001b[32m127.0.0.1:8265 \u001b[39m\u001b[22m\n",
      "\u001b[32m2024-08-02 21:49:49.522\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m19\u001b[0m - \u001b[1mStarting DPO training for wow\u001b[0m\n",
      "\u001b[32m2024-08-02 21:49:49.523\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m20\u001b[0m - \u001b[1mUsing data model: deepseek_chat and target model: deepseek_chat\u001b[0m\n",
      "\u001b[32m2024-08-02 21:49:49.524\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m24\u001b[0m - \u001b[1mMinimum samples required: 1000\u001b[0m\n",
      "\u001b[32m2024-08-02 21:49:49.524\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m27\u001b[0m - \u001b[1mProcessing 1 memories\u001b[0m\n",
      "\u001b[32m2024-08-02 21:49:49.564\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.utils.connect_ray\u001b[0m:\u001b[36mconnect_cluster\u001b[0m:\u001b[36m48\u001b[0m - \u001b[1mJDK 21 will be used (/Users/allwefantasy/.auto-coder/jdk-21.0.2.jdk/Contents/Home)...\u001b[0m\n",
      "2024-08-02 21:49:49,620\tINFO worker.py:1564 -- Connecting to existing Ray cluster at address: 127.0.0.1:6379...\n",
      "2024-08-02 21:49:49,621\tINFO worker.py:1582 -- Calling ray.init() again after it has already been called.\n",
      "\u001b[32m2024-08-02 21:49:49.656\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.utils.connect_ray\u001b[0m:\u001b[36mconnect_cluster\u001b[0m:\u001b[36m48\u001b[0m - \u001b[1mJDK 21 will be used (/Users/allwefantasy/.auto-coder/jdk-21.0.2.jdk/Contents/Home)...\u001b[0m\n",
      "2024-08-02 21:49:49,711\tINFO worker.py:1564 -- Connecting to existing Ray cluster at address: 127.0.0.1:6379...\n",
      "2024-08-02 21:49:49,712\tINFO worker.py:1582 -- Calling ray.init() again after it has already been called.\n",
      "\u001b[32m2024-08-02 21:49:49.714\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m90\u001b[0m - \u001b[1mStarting to generate QA pairs for text: 祝海林的生日是2月1号...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:49:49.715\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m92\u001b[0m - \u001b[1mGenerating initial QA pairs...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:50:23.747\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m94\u001b[0m - \u001b[1mInitial QA pairs generated. Length: 1095\u001b[0m\n",
      "\u001b[32m2024-08-02 21:50:23.748\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m99\u001b[0m - \u001b[1mWill generate additional QA pairs for 2 turns\u001b[0m\n",
      "\u001b[32m2024-08-02 21:50:23.748\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m104\u001b[0m - \u001b[1mGenerating additional QA pairs (turn 1/2)...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:50:59.992\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m108\u001b[0m - \u001b[1mAdditional QA pairs generated. New total length: 2342\u001b[0m\n",
      "\u001b[32m2024-08-02 21:50:59.993\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m104\u001b[0m - \u001b[1mGenerating additional QA pairs (turn 2/2)...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.690\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m108\u001b[0m - \u001b[1mAdditional QA pairs generated. New total length: 3746\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.691\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m110\u001b[0m - \u001b[1mExtracting QA pairs from generated text...<_group_>\n",
      "<_question_>祝海林的生日是哪一天？</_question_>\n",
      "<_answer_>祝海林的生日是2月1号。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的出生月份是什么？</_question_>\n",
      "<_answer_>祝海林的出生月份是2月。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的出生日期是几号？</_question_>\n",
      "<_answer_>祝海林的出生日期是1号。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日在哪个季节？</_question_>\n",
      "<_answer_>祝海林的生日在冬季。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节期间？</_question_>\n",
      "<_answer_>祝海林的生日不一定在春节期间，因为春节的日期每年不同，但通常在1月或2月。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在西方情人节附近？</_question_>\n",
      "<_answer_>是的，祝海林的生日在西方情人节（2月14日）之前。</_answer_>\n",
      "</_group_\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的元宵节附近？</_question_>\n",
      "<_answer_>祝海林的生日可能在元宵节附近，因为元宵节通常在春节后的第15天，即1月或2月的某个时间。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的立春节气附近？</_question_>\n",
      "<_answer_>祝海林的生日可能在立春节气附近，因为立春通常在2月3日或4日。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节假期内？</_question_>\n",
      "<_answer_>祝海林的生日不一定在春节假期内，因为春节假期的具体日期每年不同。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的寒假期间？</_question_>\n",
      "<_answer_>是的，祝海林的生日在中国的寒假期间，因为寒假通常包括2月份。</_answer_>\n",
      "</_group_><_group_>\n",
      "<_question_>祝海林的生日在公历的哪一天？</_question_>\n",
      "<_answer_>祝海林的生日在公历的2月1号。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的传统节日期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的传统节日期间，如春节或元宵节，但具体日期每年不同。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在西方的新年之后？</_question_>\n",
      "<_answer_>是的，祝海林的生日在西方的新年（1月1日）之后。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的农历新年附近？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的农历新年附近，因为农历新年通常在1月或2月。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的准备期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的准备期间，因为春节前的准备通常在1月或2月进行。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的庆祝期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的庆祝期间，因为春节后的庆祝活动通常持续到元宵节。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的购物高峰期？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的购物高峰期，因为春节前的购物高峰通常在1月或2月。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的旅游高峰期？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的旅游高峰期，因为春节后的旅游高峰通常在2月。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的家庭聚会期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的家庭聚会期间，因为春节前的家庭聚会通常在1月或2月。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的返工高峰期？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的返工高峰期，因为春节后的返工高峰通常在2月。</_answer_>\n",
      "</_group_><_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的装饰布置期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的装饰布置期间，因为春节前的装饰布置通常在1月或2月进行。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的家庭团聚期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的家庭团聚期间，因为春节后的家庭团聚活动通常持续到元宵节。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的传统习俗准备期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的传统习俗准备期间，因为春节前的传统习俗准备通常在1月或2月进行。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的传统美食享用期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的传统美食享用期间，因为春节后的传统美食享用活动通常持续到元宵节。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的红包发放期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的红包发放期间，因为春节前的红包发放通常在1月或2月进行。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的传统表演观看期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的传统表演观看期间，因为春节后的传统表演观看活动通常持续到元宵节。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的家庭清洁期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的家庭清洁期间，因为春节前的家庭清洁通常在1月或2月进行。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的传统游戏参与期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的传统游戏参与期间，因为春节后的传统游戏参与活动通常持续到元宵节。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节前的传统服饰穿着期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节前的传统服饰穿着期间，因为春节前的传统服饰穿着通常在1月或2月进行。</_answer_>\n",
      "</_group_>\n",
      "\n",
      "<_group_>\n",
      "<_question_>祝海林的生日是否在中国的春节后的传统故事讲述期间？</_question_>\n",
      "<_answer_>祝海林的生日可能在中国的春节后的传统故事讲述期间，因为春节后的传统故事讲述活动通常持续到元宵节。</_answer_>\n",
      "</_group_>\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.701\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 1: Q: 祝海林的生日是哪一天？... A: 祝海林的生日是2月1号。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.702\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 2: Q: 祝海林的出生月份是什么？... A: 祝海林的出生月份是2月。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.702\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 3: Q: 祝海林的出生日期是几号？... A: 祝海林的出生日期是1号。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.703\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 4: Q: 祝海林的生日在哪个季节？... A: 祝海林的生日在冬季。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.704\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 5: Q: 祝海林的生日是否在中国的春节期间？... A: 祝海林的生日不一定在春节期间，因为春节的日期每年不同，但通常在1月或2月。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.705\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 6: Q: 祝海林的生日是否在西方情人节附近？... A: 是的，祝海林的生日在西方情人节（2月14日）之前。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.705\u001b[0m | \u001b[33m\u001b[1mWARNING \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m131\u001b[0m - \u001b[33m\u001b[1mSkipping item 7 due to incorrect number of elements: 18\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.706\u001b[0m | \u001b[33m\u001b[1mWARNING \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m131\u001b[0m - \u001b[33m\u001b[1mSkipping item 8 due to incorrect number of elements: 44\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.707\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 9: Q: 祝海林的生日是否在中国的立春节气附近？... A: 祝海林的生日可能在立春节气附近，因为立春通常在2月3日或4日。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.708\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 10: Q: 祝海林的生日是否在中国的春节假期内？... A: 祝海林的生日不一定在春节假期内，因为春节假期的具体日期每年不同。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.709\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 11: Q: 祝海林的生日是否在中国的寒假期间？... A: 是的，祝海林的生日在中国的寒假期间，因为寒假通常包括2月份。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.710\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 12: Q: 祝海林的生日在公历的哪一天？... A: 祝海林的生日在公历的2月1号。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.710\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 13: Q: 祝海林的生日是否在中国的传统节日期间？... A: 祝海林的生日可能在中国的传统节日期间，如春节或元宵节，但具体日期每年不同。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.711\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 14: Q: 祝海林的生日是否在西方的新年之后？... A: 是的，祝海林的生日在西方的新年（1月1日）之后。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.712\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 15: Q: 祝海林的生日是否在中国的农历新年附近？... A: 祝海林的生日可能在中国的农历新年附近，因为农历新年通常在1月或2月。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.713\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 16: Q: 祝海林的生日是否在中国的春节前的准备期间？... A: 祝海林的生日可能在中国的春节前的准备期间，因为春节前的准备通常在1月或2月进行。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.713\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 17: Q: 祝海林的生日是否在中国的春节后的庆祝期间？... A: 祝海林的生日可能在中国的春节后的庆祝期间，因为春节后的庆祝活动通常持续到元宵节。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.714\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 18: Q: 祝海林的生日是否在中国的春节前的购物高峰期？... A: 祝海林的生日可能在中国的春节前的购物高峰期，因为春节前的购物高峰通常在1月或2月。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.715\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 19: Q: 祝海林的生日是否在中国的春节后的旅游高峰期？... A: 祝海林的生日可能在中国的春节后的旅游高峰期，因为春节后的旅游高峰通常在2月。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.715\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 20: Q: 祝海林的生日是否在中国的春节前的家庭聚会期间？... A: 祝海林的生日可能在中国的春节前的家庭聚会期间，因为春节前的家庭聚会通常在1月或2月。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.716\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 21: Q: 祝海林的生日是否在中国的春节后的返工高峰期？... A: 祝海林的生日可能在中国的春节后的返工高峰期，因为春节后的返工高峰通常在2月。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.717\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 22: Q: 祝海林的生日是否在中国的春节前的装饰布置期间？... A: 祝海林的生日可能在中国的春节前的装饰布置期间，因为春节前的装饰布置通常在1月或2月进行。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.718\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 23: Q: 祝海林的生日是否在中国的春节后的家庭团聚期间？... A: 祝海林的生日可能在中国的春节后的家庭团聚期间，因为春节后的家庭团聚活动通常持续到元宵节。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.718\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 24: Q: 祝海林的生日是否在中国的春节前的传统习俗准备期间？... A: 祝海林的生日可能在中国的春节前的传统习俗准备期间，因为春节前的传统习俗准备通常在1月或2月进行。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.719\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 25: Q: 祝海林的生日是否在中国的春节后的传统美食享用期间？... A: 祝海林的生日可能在中国的春节后的传统美食享用期间，因为春节后的传统美食享用活动通常持续到元宵节。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.720\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 26: Q: 祝海林的生日是否在中国的春节前的红包发放期间？... A: 祝海林的生日可能在中国的春节前的红包发放期间，因为春节前的红包发放通常在1月或2月进行。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.720\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 27: Q: 祝海林的生日是否在中国的春节后的传统表演观看期间？... A: 祝海林的生日可能在中国的春节后的传统表演观看期间，因为春节后的传统表演观看活动通常持续到元宵节。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.721\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 28: Q: 祝海林的生日是否在中国的春节前的家庭清洁期间？... A: 祝海林的生日可能在中国的春节前的家庭清洁期间，因为春节前的家庭清洁通常在1月或2月进行。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.722\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 29: Q: 祝海林的生日是否在中国的春节后的传统游戏参与期间？... A: 祝海林的生日可能在中国的春节后的传统游戏参与期间，因为春节后的传统游戏参与活动通常持续到元宵节。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.723\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 30: Q: 祝海林的生日是否在中国的春节前的传统服饰穿着期间？... A: 祝海林的生日可能在中国的春节前的传统服饰穿着期间，因为春节前的传统服饰穿着通常在1月或2月进行。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.724\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m123\u001b[0m - \u001b[34m\u001b[1mExtracted QA pair 31: Q: 祝海林的生日是否在中国的春节后的传统故事讲述期间？... A: 祝海林的生日可能在中国的春节后的传统故事讲述期间，因为春节后的传统故事讲述活动通常持续到元宵节。...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.725\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.generate_sft_data\u001b[0m:\u001b[36mto_qa_pairs\u001b[0m:\u001b[36m135\u001b[0m - \u001b[1mExtracted 29 valid QA pairs.\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.749\u001b[0m | \u001b[1mINFO    \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m37\u001b[0m - \u001b[1mGenerated 29 QA pairs\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:41.752\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是哪一天？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:44.747\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 对于祝海林的生日信息，我们没有相关的记录。在我们的社会中，每个人都享有隐私权，我们尊重并保护个人隐私...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:54:44.748\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的出生月份是什么？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:55:02.363\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 对于祝海林的出生月份，我们没有相关的公开信息。在我们的社会中，每个人都享有隐私权，我们应当尊重和保护...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:55:02.364\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的出生日期是几号？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:55:55.635\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 很抱歉，我无法提供祝海林的出生日期信息。如果您需要了解某位公众人物的出生日期，建议您查阅官方发布的资...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:55:55.636\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日在哪个季节？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:56:01.543\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 很抱歉，我无法提供关于祝海林生日季节的具体信息，因为这属于个人隐私。如果您认识祝海林并希望了解他的生...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:56:01.544\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:56:05.134\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全国人民共同庆祝的传统佳节，它象征着团圆和幸福。关于祝海林先生的生日是否在春节期间，这...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:56:05.135\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在西方情人节附近？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:56:09.534\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 祝海林的生日是否在西方情人节附近，这属于个人隐私范畴，我们应当尊重每个人的隐私权。在中国，我们倡导文...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:56:09.535\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的立春节气附近？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:43.892\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，每个人的生日都是值得庆祝的特殊日子，而立春节气作为农历二十四节气之一，标志着春天的开始，是中...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:43.893\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节假期内？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:52.137\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全国人民共同庆祝的重要节日，它体现了中华民族的传统文化和价值观念。关于祝海林先生的生日...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:52.138\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的寒假期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:55.691\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，寒假通常是根据学校的教学安排来确定的，每个学校的具体放假时间可能会有所不同。关于祝海林先生的...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:55.692\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日在公历的哪一天？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:57.972\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 很抱歉，我无法提供祝海林的生日信息，因为这属于个人隐私。如果您想了解如何庆祝生日或者有关生日的文化习...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:57:57.973\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的传统节日期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:01.967\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，我们尊重每个人的个人隐私，包括生日等个人信息。同时，我们庆祝各种传统节日，这些节日体现了中华...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:01.968\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在西方的新年之后？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:05.254\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 祝海林的生日是否在西方的新年之后，这个问题涉及个人隐私，不便公开讨论。我们应当尊重每个人的隐私权，同...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:05.255\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的农历新年附近？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:09.647\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，农历新年是一个非常重要的传统节日，它标志着农历新年的开始，家家户户都会欢聚一堂，共庆佳节。关...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:09.648\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节前的准备期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:14.047\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全国人民共同庆祝的重要节日，人们会提前进行各种准备工作，以确保节日期间的喜庆和祥和。关...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:14.048\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节后的庆祝期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:17.840\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全国人民共同庆祝的重要节日，它象征着团圆和繁荣。关于祝海林先生的生日是否在春节后的庆祝...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:17.841\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节前的购物高峰期？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:22.915\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全家团聚、共庆佳节的时刻，也是全国人民共同庆祝的重要节日。春节期间，人们会进行各种庆祝...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:22.916\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节后的旅游高峰期？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:28.150\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全国人民共同庆祝的重要节日，也是家人团聚、共度佳节的时刻。春节后的旅游高峰期，体现了我...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:28.150\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节前的家庭聚会期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:32.381\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全家团聚、共庆佳节的时刻，每个家庭都会根据自己的情况安排聚会时间。关于祝海林先生的生日...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:32.382\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节后的返工高峰期？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:50.134\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全国人民共同庆祝的传统佳节，也是家人团聚的重要时刻。春节后的返工高峰期，是全国各地劳动...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:50.135\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节前的装饰布置期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:59.615\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是全国人民共同庆祝的重要节日，家家户户都会进行装饰布置，营造浓厚的节日氛围。关于祝海林先...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:58:59.616\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节后的家庭团聚期间？...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:59:03.699\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m45\u001b[0m - \u001b[34m\u001b[1mResponse from llm: 在中国，春节是一个重要的传统节日，家庭团聚是春节文化的重要组成部分。每个人的生日都是个人的私事，我们...\u001b[0m\n",
      "\u001b[32m2024-08-02 21:59:03.700\u001b[0m | \u001b[34m\u001b[1mDEBUG   \u001b[0m | \u001b[36mbyzerllm.apps.byzer_storage.train_dpo\u001b[0m:\u001b[36mtrain_dpo\u001b[0m:\u001b[36m39\u001b[0m - \u001b[34m\u001b[1mProcessing QA pair: 祝海林的生日是否在中国的春节前的传统习俗准备期间？...\u001b[0m\n"
     ]
    }
   ],
   "source": [
    "import byzerllm\n",
    "import json\n",
    "import base64\n",
    "from byzerllm.apps.byzer_storage.train_dpo import train_dpo\n",
    "\n",
    "llm = byzerllm.ByzerLLM.from_default_model(\"deepseek_chat\")\n",
    "\n",
    "train_dpo(\n",
    "    name=\"wow\",\n",
    "    memories=[\"祝海林的生日是2月1号\"],\n",
    "    options={\n",
    "        \"epochs\": 1,\n",
    "        \"stage\": \"dpo\",\n",
    "    },\n",
    "    dataset_dir=\"./dataset\",\n",
    "    loras_dir=\"./loras\",\n",
    "    model_name=\"deepseek_chat\",\n",
    "    data_model_name=\"deepseek_chat\",\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import byzerllm\n",
    "import json\n",
    "import base64\n",
    "from byzerllm.apps.byzer_storage.train_sft import to_qa_pairs\n",
    "llm = byzerllm.ByzerLLM.from_default_model(\"deepseek_chat\")\n",
    "\n",
    "to_qa_pairs(text=\"祝威廉生日2月1号\", llm=llm,num=20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['/tmp/a.png', '/tmp/a2.png']\n",
      "[]\n"
     ]
    }
   ],
   "source": [
    "from byzerllm.utils.nontext import Image\n",
    "\n",
    "v = Image.extract_image_paths(\"\"\"<_image_>/tmp/a.png\n",
    "                          </_image_>哈哈哈哈<_image_>/tmp/a2.png\n",
    "                          </_image_>\"\"\")\n",
    "\n",
    "print(v)\n",
    "\n",
    "v = Image.extract_image_paths(\"\"\"哈哈哈哈\"\"\")\n",
    "\n",
    "print(v)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "byzerllm",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
